画像処理方法および装置

专利摘要:
画像処理方法は、以下のものを含む、画像上で単一パスで画像の各ピクセルの反転すること；各ピクセルに対して反転機能を適用すること；各反転したピクセルに対して再帰形フィルター、画像における前に横断したピクセル値から取得したパラメータを有するフィルターを適用し；および、処理画像におけるピクセル値を規定するピクセルとしてのフィルターのパラメータでピクセル値を合成する。
公开号:JP2011510547A
申请号:JP2010542517
申请日:2008-01-18
公开日:2011-03-31
发明作者:アルブ，フェリックス；ザンフィル，アドリアン；ドリムバレン，アレキサンドル；フロレア，コーネリウ
申请人:テセラ テクノロジーズ アイルランド リミテッド；
IPC主号:H04N1-409

专利说明:

[0001] 本発明は、取得画像の画質を改善するための画像処理方法および装置に関する。]
背景技術

[0002] 特性を改善するために画像にフィルターを適用することが良く知られている。]
[0003] US 7,072,525, Covellは、視覚画像のオリジナルバージョンを処理して生成する視覚画像の対象バージョンをフィルタリングするための適用フィルターや、視覚画像のオリジナルバージョンの１以上の特性にしたがって定める適用フィルターの特性が開示されている。
適用フィルターのフィルタリングにおける方向および／または強度は、オリジナル画像の部分的な特性に基づいて調整され、そして、それは画像における端の交差部が不鮮明になるのをなくすための適用フィルターを有効にする。]
[0004] US 6,823,086, Dolazzaは、画像に関連するノイズ成分を減らために画像を順にフィルタリングするシステムを開示している。そのシステムは、画像に関連した画像パラメータを決める画像分析器も含む。システムは、画像シーケンスをフィルタリングするために、画像パラメータに対応する調整点を有する特別なフィルターも含む。システムが実時間においてフィルター画像を生成するように画像パラメータの機能、フィルターしていない画像の機能、外部ルール、所定の制限、またはそれらの組み合わせとしてフィルターの要点を画像分析器が操作する。特別なフィルターは、時間の不変セクションおよび調整可能なセクションを含む。時間の不変区分は、複数の異なるフィルター出力を生成するように、画像（異なる周波数応答を有するフィルター）に複数のフィルターを適用する。適用セクションは、複数の計測したフィルター出力を生成する異なる重み値に対応して、各複数の異なるフィルター出力を計り、そして合成フィルター出力を生成するために複数の計測したフィルター出力を合成する。]
[0005] CovellとDolazzaには、いくつかの２−Ｄローパスフィルター（それぞれが異なる周波数応答を有するもの）が、画像に適用され、その出力には合成フィルター出力を生成するために重みを付ける。
コンファメーションコピー]
[0006] US7,072,525およびUS6,823,086の複雑なものは高い。これらの特許は、適用フィルターの動作を決めるために画像分析器や他の画像を必要とする。例えば、少なくとも１つはオリジナル画像を横切り、そして対象画像を必要とする。]
[0007] US6,335,990, Chenなどは、複雑なビデオおよび適用フレーム間における動作により変化するフィルタリング係数で、単一ステップにおける一時的な領域およひ空間においてフィルタリングすることが開示されている。フィルターは、IIRフィルター、閾値ユニット、および係数記録器を含む。IIRフィルターおよび閾値ユニットは、ビデオデータを受け取るように接続している。IIRフィルターには、係数記録器および閾値ユニットにも接続している。IIRフィルターは、係数記録器から係数を受け取り、受け取ったビデオデータをフィルターしてそれらを用いる。IIRフィルターは、単一のステップにおいて垂直、水平および一時的な次元におけるデータをフィルターする。IIRフィルターによるフィルターしたデータの出力は、閾値ユニットに送られる。閾値ユニットは、係数記録器から閾値まで、フィルターデータと生ビデオデータとの間で異なる絶対値を比較し、次に生ビデオデータまたはフィルターデータのいずれかを出力する。]
[0008] Chenは、IIRフィルターと閾値ユニットを用い、生ビデオデータまたはフィルターデータを出力する。そのようにIIRフィルターが、前の出力およびピクセル値を操作する。]
[0009] 図1に関し、US 2004/0213478、Chesnokovは、調整した出力信号を作るための入力信号処理ステップを含む画像処理方法であり、画像の異なる位置（x,y）としての彩度値Ｉ（x,y）は、以下の式により調整した彩度値Ｉ’(x,y)を生成するために調整する。


ここで、Ｐi(γ)は、０＜γ＜１の範囲で定義されるγ機能の直交成分；Ｑi(.)は、Pi(.)の反対の導関数であり、

または、それらに近い；LPFΩ[.]は、ローパス空間の操作であり；Ωiは、ローパスフィルターの遮断周波数となり；F(.)は、重み機能である；0＜α＜1。]
[0010] 重み関数Ｆ（.）の出力は、ピクセル値が高くなるにつれて単調に減少する。フィルターシーケンスの出力から戻り、その方法は画像から他の情報を受け取ることができる。例えば、増幅要素は、線形または対数の乗算に加え、積算画像を用いたプレビューから算出される。Chesnokovにおいて、重要な処理ステップが、入力信号に適用され、非常に複雑な方法を作り、出力画像がオリジナル画像と処理画像を合わせた重みとなる。]
[0011] 本発明によれば、請求項１による画像処理方法を提供する。]
[0012] 本発明は、画質を改善するIIRフィルター、プロセッサ資源の有効利用および単一の画像を使ったワンパス画像技術を提供する。]
[0013] 本発明の第１の実施例は、画像の前景／背景において不均一な輝度の自動補正を提供する。この実行により、特に背景が前景よりも明るかったり／または暗かったりする場合に画質を改善する。]
[0014] 第１実施例の好ましい実施は、赤、緑および青チャンネルの平均評価を提供するが、他の再帰形フィルターが、各カラー平面のピクセル値または彩度値に反比例する要素を有するタームをフィルターする。その出力は、カラーチャンネルによる１以上の補正タームで増え、好ましくは２つの閾値により制限される。向上したピクセル値は、線形または対数モデルを用いて取得する。]
[0015] 実施例を用いると、前景／背景において不均一な輝度の自動補正だけでなせ、色の増加も得られる。]
[0016] 第１実施例では、各カラーチャンネルの平均値は、比較目的としては使えず、処理したピクセルにおける平均ウィンドウの端をスライドして置き換えることができる。どの場合でも、これらの平均値は、赤や青チャンネルの増幅を超えないように順に用いられる補正タームを決めるために用いられる。先行技術とは異なり、適用フィルターを使うよりは、IIRフィルター係数を固定する。そのような本方法は、画像上で単一のパスを必要とし、１つのフィルターの出力が、他のフィルターの入力として用いられることはない。]
図面の簡単な説明

[0017] 本発明の実施例について、添付図面を参照し、一例として説明する。
先行技術の画像処理システムのブロック図である。
本発明の実施例による画像処理システムのブロック図である。]
好ましい実施形態

[0018] 図２に関し、取得画像Ｇに対しては、本発明によるフィルタリングが与えられる。本実施例は、RGB空間で画像を処理することに関して説明するが、本発明は、輝度チャンネルだけ、または他のカラー空間に適用することができる。] 図２
[0019] 単一の入力画像Ｇが用いられ、各カラーチャンネルにおける動作平均は、各ピクセル値が読み込まれたときに２０で計算される。そのため、各平面k=1…3の各ピクセルG(i,j,k)として、次の計算をする。


ここで、βは０から１までの間の係数である。]
[0020] 他の変形は、各カラーチャンネルにおいて、ピクセルG(i,j,k)の周囲の2N+1ピクセル値の積算を算出して、2N+1で割る。]
[0021] ]
[0022] 好ましくは、補正タームγRとγBの値が選択した区間内に制限される（例えば、0.95から1.05まで、γRとγBのいずれかの値が0.95よりも小さければ、それらの値を0.95に設定する；γRとγBのいずれかの値が1.05以上であれば、それらの値を1.05に設定する）。これにより、さらなる処理において赤および青チャンネルの過度の増幅を防ぐ。]
[0023] 移動平均値の生成に応じて、ピクセルが行または列およびカラー平面Ｇ（i,j,k）の各ピクセルとして解析され、係数H(i,j)は、以下のように計算する。


図２で、この処理は、ステップ30に割り込む。


再帰形フィルター、ステップ40は以下である：


ここで、aは、1よりも小さい正の数である(例えばa=0.125)。
αは、対応する再帰形フィルタリングの極であり、例えば、αは、0.05から0.8までの間の値とすることができる。] 図２
[0024] δとの比較は、ゼロで割るのを避けるためと、暗いピクセル（例、δ=15）を増幅するために用いられる。初期値H(1,1)は、１から２までの間の値とすることができる。]
[0025] このフィルターを用い、暗い領域は、反対値の平均化により明るい領域よりも増幅する。したがって、前景／背景において不均一な輝度が自動補正される。]
[0026] 再帰形フィルターＨが、ピクセル値をフィルターしないことは上記から分かる。例えば、a=α=1/8とδ=15であれば、フィルター30/40が、実際のピクセル値G(i,j,k)および画像の先行する値により１から３までの間で変わる一連の数をフィルタリングする。フィルター40は、ピクセル値G(i,j,k)を入力として単に用いれば、輝度補正のない単純なローパスフィルター画像を生成する。]
[0027] 実施例の１つの実施において、変更されたピクセル値G1(i,j,k)が、フィルターパラメーターＨおよび補正タームγR,γBの線形合成、ステップ５０により与えられる。]
[0028] １以上の線形モデルの複雑な代案は、対数モデルである。実装のように、向上したカラー平面（R/G/Bカラー平面）に対応する出力ピクセルG1(i,j,k)は以下である。


ここで、Ｄは、最大の許容値である（例えば、8ビットの画像表示なら255）；そして、εは１から３までの間の定数値である。]
[0029] 上式の例は、Ｄよりも小さい値だけが得られることを示す。この実施では、色の度合いや明るさの増大が、極性値（α）や対数モデル要素（ε）を変えることで得られる。]
[0030] 計算は、ＹＣＣまたはその他のカラー空間に適用することができる。例えば、図２の実施例でＹＣＣカラー空間を用いると、補正タームγR,γBを計算する必要はないし、対数モデルを使うと、Ｙチャンネルとしてε=1となる。Ｙチャンネルとしての反転機能は、その結果、次のようになる。] 図２
[0031] 線形モデルは、輝度チャンネルに適用し、対数モデルは、輝度チャンネルで計算された係数Ｈ（i,j）を用いるクロミナンスチャンネルで用いることができる。]
[0032] このアプローチによれば、コンピュータの節約につながり、新しいクロミネンス値を計算するとき、εとして異なる正の数（例、ε=0.9）を用いて彩度を調整することができる。向上した画像の輝度は、正因子εでＹチャンネルを積算することにより変更でき、その正因子εの値は、クロミネンスチャンネルで用いるεの値と異なることができる。]
[0033] 本発明の第２実施例において、図２の処理構造は、画像をはっきりさせるのに用いることができる。] 図２
[0034] この実施例において、好ましくは、ＹＣＣフォーマットの画像を用い、その処理は、Ｙチャンネルのみで実行される。次のピクセル値および現在のピクセル値の比率は、算出され、１つの極性IIRフィルター（例、α=1/16）でフィルター処理される、ステップ４０。この動作は、連続的または個別に行または列において実行することができる。最初のＨ係数は、１に設定され、i行の動作において


ここで、αはIIRフィルターの極性である。]
[0035] 再び、この処理は、ステップ３０で分解することができる。


再帰形フィルターは以下のものである、ステップ４０。]
[0036] 再び、δとの比較は、ゼロで割るのを避けるために用いられる（δは、普通は１に設定される）。Ｈ（i,j）は、オリジナル画像の現在のピクセル位置(i,j)に対応する係数である。最初の係数は、第１行の始めまたは各行の始めにおいて１に設定することができる。第１の場合において、第１行の終わりで計算した係数は、次の行の第１ピクセルに対応する係数を計算するのに用いる。]
[0037] 向上したピクセル値Y1 (i,j)は、以下の式で求める。


ε(i,j)は、一定のゲイン要素またはＨ係数による可変のゲインとなることができる。ε(i,j)としての他の代替手段は、連続したピクセルの差または一連のピクセル値の比率を用いる。
例えば、連続したピクセル間の差が小さい場合（または、連続したピクセル値の比率が１に近づくと）、ピクセルがスムース領域に位置しているので、ε(i,j)の値は小さくすべきである。差が大きいと（または、比率が１よりも非常に高かったり、または低かったりすると）、ピクセルが端に位置している可能性があり、そうすると、ε(i,j)の値は、オーバーシューティングまたはアンダーシューティングの問題を避けるために、ゼロに近づけるべきである。中間値としては、ゲイン機能は、０からゲインを選択する最大値までの間で変更すべきである。これらの要求によるε(i,j)の例は、レーリー分布である。]
[0038] いくつかの実施において、変数ε(i,j)を選択するとき、連続したピクセル間の絶対差は、限定された整数値を有しているため、参照テーブル(LUT)を用いることができる。]
[0039] この方法は、高度に並列化されており、この複雑さはとても低い。複数のＬＵＴが用いられ、いくつかの乗算がシフトして置き換われば、複雑さをさらに低減することができる。]
[0040] さらには、この第２実施例は、ＲＧＢ空間において画像にも適用することができる。]
[0041] 第２実施例は、各個別のビデオフレームをはっきりさせるか、識別されてわずかにぶれた複数のフレームをはっきりさせるかのいずれかにより、ビデオフレームをはっきりさせることに適用することができる。]
[0042] 各実施例において、ピクセルは、行や列だけではなく、空間充填曲線（例、Hibert曲線）を用いて説明することができる。補正画像は、連続する移動点を介して、ピクセル毎に連続した補正画像とみなすことができる。]
[0043] 第２実施例における画像を鮮明化する画像処理は、独立に実行するいずれかの方法よりも優れた特性でフィルター画像を提供するために第１実施例の輝度補正後に適用することができる。]
[0044] 実際にいずれかの方法は、ＰＣＴ出願No. PCT/EP2007/009939 (Ref:FN204PCT)に記載された処理による例として必要とする他の画像処理方法と結合して適用することができる。]

权利要求:

請求項1
画像処理方法であって、a)画像上の単一パスにおいて、前記画像の各ピクセルを横断し、b)前記各ピクセルに対して反転機能を適用し、c)前記各反転したピクセル値に対して再帰形フィルターを適用し、前記フィルターは、前記画像において前に横断したピクセル値から得たパラメータを有し、d)処理画像としてのピクセル値を得るための前記ピクセルとして、前記フィルターのパラメータで前記ピクセル値を合成することを特徴とする画像処理方法。
請求項2
前記画像は、ＹＣＣまたはＲＧＢフォーマットであることを特徴とする請求項１に記載の方法。
請求項3
前記画像がＲＧＢフォーマットであり、前記反転機能がピクセルとしての各カラー平面の組み合わせを反転することを特徴とする請求項２に記載の方法。
請求項4
前記画像は、ＹＣＣフォーマットであり、前記反転機能がピクセルの彩度値を反転することを特徴とする請求項２に記載の方法。
請求項5
前記横断は、行方向、列方向、または前記画像を横切って横断することを特徴とする請求項１に記載の方法。
請求項6
請求項３に記載の方法であって、前記画像における事前に横断したピクセル値から赤、緑、および青の平面の平均評価を規定し、１以上の前記平面に対して補正タームを規定し、前記補正タームは前記カラーチャンネルの平均評価により決まり、前記合成は、補正タームでピクセル値を乗算することを含むことを特徴とする方法。
請求項7
前記補正タームは、上限と下限の閾値のそれぞれにより制限されていることを特徴とする請求項６に記載の方法。
請求項8
前記合成は、線形合成または対数合成の一つを含むことを特徴とする請求項１に記載の方法。
請求項9
前記合成は、前記ピクセルに対して前記ピクセル値、補正ターム、および前記フィルターのパラメータを乗算して、処理画像に対するピクセル値を得ることを含むことを特徴とする請求項８に記載の方法。
請求項10
請求項６に記載された方法であって、前記赤、前記緑、前記青のチャンネルにおける平均評価の規定は、以下のものであることを特徴とするG(i,j,k)は、前記赤（R）、前記緑（G）、または前記青（B）のカラー平面のピクセル値であり、βは、0から1までの間の係数である。
請求項11
請求項６に記載された方法であって、前記赤および前記青のカラー平面のそれぞれの前記補正タームγR,γBは、以下のものであることを特徴とするaは、1よりも小さい正の値である。
請求項12
γRおよびγBは、0.95から1.05までの間に制限されていることを特徴とする請求項１１に記載の方法。
請求項13
請求項１に記載の方法であって、前記再帰形フィルターのパラメータＨ（i,j）は以下のものであることを特徴とするαは、前記フィルターの極性であり、G(i,j,k)は、前記赤（R）、前記緑(G)、前記青(B)のカラー平面のピクセル値であり、f(G(i,j,k))は、前記反転機能である。
請求項14
αは、0.05から0.8までの間にあることを特徴とする請求項１３に記載の方法。
請求項15
請求項１３に記載の方法であって、前記反転機能は以下のものであることを特徴とするaは、１よりも小さい正の値であり、δは、ゼロで割るのを避けるようにして暗いピクセルを増幅するのに用いる。
請求項16
請求項４に記載の方法であって、前記反転機能は以下のものであることを特徴とするＹ（i,j）は、前記ピクセルの彩度値であり、aは、１よりも小さい正の値であり、δは、ゼロで割るのを避けるようにして暗いピクセルを増幅するのに用いる。
請求項17
請求項６に記載の方法であって、前記合成は以下のものを含むことを特徴とするγR,γBは、前記補正タームであり、H(i,j)は、前記フィルターのパラメータであり、G(i,j,k)は、前記赤（R）、前記緑(G),または前記青(B)のカラー平面におけるピクセル値である。
請求項18
請求項６に記載の方法であって、前記合成は、以下のものを含むことを特徴とするγR,γBは、前記補正タームであり、H(i,j)は、前記フィルターのパラメータであり、G(i,j,k)は、前記赤（R）、前記緑(G)または前記青(B)のカラー平面に対するピクセル値であり、Ｄは、最大許容ピクセル値であり、εは、１から３までの定数である。
請求項19
請求項１に記載の方法であって、前記画像は、ＹＣＣフォーマットであり、前記再帰形フィルターのパラメータH(i,j)は、以下のものであることを特徴とするαは、前記IIRフィルターの極性であり、Y(i,j)は、前記ピクセルの彩度値であり、f(Y(i,j))は、前記反転機能である。
請求項20
請求項１９に記載の方法であって、前記反転機能は、以下のものであることを特徴とするδは、ゼロで割るのを避けるために用いる。
請求項21
請求項１９に記載の方法であって、前記合成は、以下のものを含むことを特徴とするH(i,j)は、前記フィルターのパラメータであり、ε(i,j)は、ゲイン要素である。
請求項22
ε(i,j)は、前記画像の定数または変数のいずれかであることを特徴とする請求項２１に記載の方法。
請求項23
１以上の連続した処理画像に対して反復してステップa)からd)を適用し、ステップb),c)、d)のそれぞれは、画像輝度または画像の鮮明さの１つを改善するために適応されることを特徴とする方法。
請求項24
画像処理装置は、画像取得手段および処理装置を有し、前記処理装置は、単一パスにおいて各画像ピクセルを横断し、前記各ピクセルに反転機能を適用し、前記各反転したピクセル値に再帰形フィルターを適用し、前記フィルターは、前記画像における前に横断したピクセル値から得るパラメータを有し処理画像のピクセル値を規定するために前記ピクセルに対する前記フィルターのパラメータと前記ピクセル値を合成するものであることを特徴とする。